人对象相互作用(HOI)检测在活动理解中起着至关重要的作用。尽管已经取得了重大进展,但交互性学习仍然是HOI检测的一个具有挑战性的问题:现有方法通常会产生冗余的负H-O对提案,并且无法有效提取交互式对。尽管已经在整个身体和部分级别研究了互动率,并促进了H-O配对,但以前的作品仅专注于目标人一次(即,从本地角度来看)并忽略了其他人的信息。在本文中,我们认为同时比较多人的身体零件可以使我们更有用,更补充的互动提示。也就是说,从全球的角度学习身体部分的互动:当对目标人的身体零件互动进行分类时,不仅要从自己/他本人,而且还从图像中的其他人那里探索视觉提示。我们基于自我注意力来构建身体的显着性图,以挖掘交叉人物的信息线索,并学习所有身体零件之间的整体关系。我们评估了广泛使用的基准曲线和V-Coco的建议方法。从我们的新角度来看,整体的全部本地人体互动互动学习可以对最先进的发展取得重大改进。我们的代码可从https://github.com/enlighten0707/body-part-map-for-interactimence获得。
translated by 谷歌翻译
Recent studies reveal that deep neural network (DNN) based object detectors are vulnerable to adversarial attacks in the form of adding the perturbation to the images, leading to the wrong output of object detectors. Most current existing works focus on generating perturbed images, also called adversarial examples, to fool object detectors. Though the generated adversarial examples themselves can remain a certain naturalness, most of them can still be easily observed by human eyes, which limits their further application in the real world. To alleviate this problem, we propose a differential evolution based dual adversarial camouflage (DE_DAC) method, composed of two stages to fool human eyes and object detectors simultaneously. Specifically, we try to obtain the camouflage texture, which can be rendered over the surface of the object. In the first stage, we optimize the global texture to minimize the discrepancy between the rendered object and the scene images, making human eyes difficult to distinguish. In the second stage, we design three loss functions to optimize the local texture, making object detectors ineffective. In addition, we introduce the differential evolution algorithm to search for the near-optimal areas of the object to attack, improving the adversarial performance under certain attack area limitations. Besides, we also study the performance of adaptive DE_DAC, which can be adapted to the environment. Experiments show that our proposed method could obtain a good trade-off between the fooling human eyes and object detectors under multiple specific scenes and objects.
translated by 谷歌翻译
在过去的十年中,深度学习急剧改变了传统的手工艺特征方式,具有强大的功能学习能力,从而极大地改善了传统任务。然而,最近已经证明了深层神经网络容易受到对抗性例子的影响,这种恶意样本由小型设计的噪音制作,误导了DNNs做出错误的决定,同时仍然对人类无法察觉。对抗性示例可以分为数字对抗攻击和物理对抗攻击。数字对抗攻击主要是在实验室环境中进行的,重点是改善对抗性攻击算法的性能。相比之下,物理对抗性攻击集中于攻击物理世界部署的DNN系统,这是由于复杂的物理环境(即亮度,遮挡等),这是一项更具挑战性的任务。尽管数字对抗和物理对抗性示例之间的差异很小,但物理对抗示例具有特定的设计,可以克服复杂的物理环境的效果。在本文中,我们回顾了基于DNN的计算机视觉任务任务中的物理对抗攻击的开发,包括图像识别任务,对象检测任务和语义细分。为了完整的算法演化,我们将简要介绍不涉及身体对抗性攻击的作品。我们首先提出一个分类方案,以总结当前的物理对抗攻击。然后讨论现有的物理对抗攻击的优势和缺点,并专注于用于维持对抗性的技术,当应用于物理环境中时。最后,我们指出要解决的当前身体对抗攻击的问题并提供有前途的研究方向。
translated by 谷歌翻译
在变异场景中已经揭示了对抗性实例的现象。最近的研究表明,精心设计的对抗性防御策略可以改善深度学习模型针对对抗性例子的鲁棒性。但是,随着国防技术的快速发展,由于现有手动设计的对抗性攻击的性能较弱,因此很难评估防御模型的鲁棒性。为了应对挑战,鉴于防御模型,需要进一步利用有效的对抗性攻击,较少的计算负担和较低的健壮精度。因此,我们提出了一种用于自动对抗攻击优化设计的多目标模因算法,该算法实现了对近乎最佳的对抗性攻击对防御模型的近乎最佳的对抗性攻击。首先,构建了自动对抗攻击优化设计的更通用的数学模型,其中搜索空间不仅包括攻击者操作,大小,迭代号和损失功能,还包括多个对抗性攻击的连接方式。此外,我们开发了一种组合NSGA-II和本地搜索以解决优化问题的多目标模因算法。最后,为了降低搜索过程中的评估成本,我们根据模型输出的每个图像的跨熵损失值的排序提出了代表性的数据选择策略。关于CIFAR10,CIFAR100和Imagenet数据集的实验显示了我们提出的方法的有效性。
translated by 谷歌翻译
张量分解因其在多维数据中捕获潜在因素的固有能力而获得了越来越多的兴趣,该数据具有许多应用程序,例如推荐系统和电子健康记录(EHR)挖掘。已经提出了Parafac2及其变体来解决不规则的张量,其中一种张量模式不对齐,例如,EHR中推荐系统或患者的不同用户可能具有不同的记录。 PARAFAC2已成功应用于EHRS,用于提取有意义的医学概念(表型)。尽管有最近的进步,但当前模型的可预测性和可解释性并不令人满意,这限制了其用于下游分析的效用。在本文中,我们提出了多个多任务学习的多个监督不规则张量分解。多个多个可以灵活地包含静态(例如,院内死亡率预测)和连续或动态(例如,通风的需求)任务。通过通过下游预测任务监督张量分解并利用来自多个相关预测任务的信息,Multipar不仅可以产生更有意义的表型,而且可以为下游任务提供更好的预测性能。我们在两个现实世界中的EHR数据集上进行了广泛的实验,以证明Multipar是可扩展的,并且与现有的最新方法相比,具有更有意义的亚组和更强的预测性能,可以更好地张紧张量。
translated by 谷歌翻译
在卫星布局设计中,热源布局优化(HSLO)是一种有效的技术,可降低最高温度并改善整个系统的热量管理。最近,已经提出了深度学习的替代辅助HSLO,该辅助辅助HSLO从布局到相应的温度场进行了映射,以便在优化过程中替换仿真以大大降低计算成本。但是,它面临两个主要挑战:1)特定任务的神经网络代理通常是手动设计的,这是复杂的,需要丰富的调试经验,这对工程领域的设计师来说是具有挑战性的; 2)现有的HSLO算法只能在单个优化中获得几乎最佳的解决方案,并且很容易被捕获以局部最佳限制。为了应对第一个挑战,考虑减少总参数编号并确保相似的准确性以及与特征金字塔网络(FPN)框架相结合的神经体系结构搜索(NAS)方法,以实现自动搜索小型搜索的目的深度学习的替代模型。为了应对第二项挑战,提出了一种基于多模式搜索的布局优化算法(MNSLO),该算法(MNSLO)可以单一优化同时获得更多,更好的近似最佳设计方案。最后,利用了两个典型的二维热传导优化问题来证明该方法的有效性。具有相似的精度,NAS找到了比原始FPN的参数少80%,拖失板少64%和36%的模型。此外,在自动搜索的深度学习代理人的帮助下,MNSLO可以同时实现多个接近最佳的设计方案,以为设计师提供更多的设计多样性。
translated by 谷歌翻译
预测组合在预测社区中蓬勃发展,近年来,已经成为预测研究和活动主流的一部分。现在,由单个(目标)系列产生的多个预测组合通过整合来自不同来源收集的信息,从而提高准确性,从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重,非线性组合,组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论,并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性,并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后,我们以当前的研究差距和未来研究的潜在见解得出结论。
translated by 谷歌翻译
我们在本文中解决的主要问题是如何扩展对看不见类(也称为零局学习)的视觉识别,以达到成千上万的类别,如Imagenet-21K基准中。在这个规模上,尤其是ImageNet-21K中包含许多细粒类别的规模,学习质量的视觉语义表示至关重要,它们具有足够的歧视性,足以识别看不见的类别并将其与见证的类别区分开来。我们提出了一个\ emph {h} ierarchical \ emph {g} raphical知识\ emph {r}基于置信度的分类方法(被称为HGR-net)的EPRESENTATION框架。我们的实验结果表明,HGR-NET可以利用层次结构概念知识来掌握类遗传关系。与Imagenet-21K基准的亚军方法相比,我们的方法大大优于所有现有技术,使性能提高了7 \%。我们表明,HGR-NET在几个场景中学习有效。我们还分析了较小的数据集(例如ImageNet-21K-P,2-s-s和3-shops)的方法,证明了其泛化能力。我们的基准和代码可在https://kaiyi.me/p/hgrnet.html上获得。
translated by 谷歌翻译
大型数据集对于深度学习模型的开发非常重要。此类数据集通常需要繁重的注释工作量,这是非常耗时和昂贵的。为了加速注释过程,可以采用多个注释器来标记数据的不同子集。但是,不同的注释器之间的不一致和偏差对模型培训有害,特别是对于定性和主观的任务。在本文中解决了这一挑战,我们提出了一种新的对比回归框架来解决每个样本的不相交的注释问题仅由一个注释器和多个注释器标记在数据的不相交子集上工作。要考虑到注释器内的一致性和间歇委员会间不一致,使用了两种策略。过度,应用基于对比的损失来学习相同注释者的不同样本之间的相对排名,假设排名来自相同注释器的样本是一致的。其次,我们应用渐变反转层以学习不变的稳健表示到不同的注释器。对面部表情预测任务的实验,以及图像质量评估任务,验证了我们提出的框架的有效性。
translated by 谷歌翻译
在本文中,我们提出了通过绘制物理信息监督残余学习(PHISRL)的方案来求解2D逆散射问题(ISP)来求解传统出版方法的计算过程( TBIM)。 NeuralBim采用独立的卷积神经网络(CNNS)来学习两种不同候选解决方案的交替更新规则,其相应的残差。本文提出了两种不同的NeuralBim方案,包括监督和无监督的学习计划。利用由时刻(MOM)的方法生成的数据集,监督的NeuralBims培训具有总场的知识和对比度。无监督的NeuralBim是由ISP的管理方程式创建的物理嵌入式损失功能,这导致总场的要求和培训对比。代表性数值结果进一步验证了监督和无人育的NeuralBims的有效性和竞争力。
translated by 谷歌翻译